Was ist markov kette?

Markov-Ketten

Eine Markov-Kette ist ein stochastisches Modell, das eine Sequenz von Ereignissen beschreibt, bei der die Wahrscheinlichkeit jedes Ereignisses nur vom vorherigen Ereignis abhängt. Man spricht hier auch von der Markov-Eigenschaft oder Gedächtnislosigkeit.

Kernkonzepte:

Zustände: Die Markov-Kette besteht aus einer Menge von möglichen Zuständen. Ein Zustand repräsentiert eine spezifische Situation oder Wert.
Übergangswahrscheinlichkeiten: Die Wahrscheinlichkeit, von einem Zustand zu einem anderen zu wechseln, wird durch die Übergangswahrscheinlichkeiten definiert. Diese Wahrscheinlichkeiten bilden eine Übergangsmatrix.
Markov-Eigenschaft: Die Wahrscheinlichkeit, in den nächsten Zustand zu wechseln, hängt nur vom aktuellen Zustand ab und nicht von der Vergangenheit (der vorherigen Zustände). Mathematisch ausgedrückt: P(Xn+1 = x | X1 = x1, …, Xn = xn) = P(Xn+1 = x | Xn = xn).
Stationäre Verteilung (Gleichgewichtsverteilung): Unter bestimmten Bedingungen (z.B. Irreduzibilität und Aperiodizität) konvergiert die Zustandsverteilung der Markov-Kette gegen eine stationäre Verteilung. Diese Verteilung bleibt erhalten, wenn die Kette einmal diese Verteilung erreicht hat.

Anwendungen:

Markov-Ketten finden breite Anwendung in verschiedenen Bereichen, darunter:

Sprachmodellierung: Vorhersage des nächsten Wortes in einem Satz.
Finanzwesen: Modellierung von Aktienkursen.
Wettervorhersage: Vorhersage des Wetters basierend auf dem aktuellen Wetterzustand.
Suchmaschinenalgorithmen: PageRank-Algorithmus von Google.
Biologie: Modellierung der Evolution von Genen.

Arten von Markov-Ketten:

Diskrete Markov-Ketten: Sowohl die Zeit als auch der Zustandsraum sind diskret.
Kontinuierliche Markov-Ketten: Die Zeit ist kontinuierlich.
Homogene Markov-Ketten: Die Übergangswahrscheinlichkeiten sind zeitunabhängig.
Irreduzible Markov-Ketten: Es ist möglich, von jedem Zustand zu jedem anderen Zustand zu gelangen (direkt oder indirekt in einer endlichen Anzahl von Schritten).
Aperiodische Markov-Ketten: Die Markov-Kette kehrt nicht mit einer festen Periode in einen bestimmten Zustand zurück.

Beispiel:

Ein einfaches Beispiel für eine Markov-Kette ist das Wetter. Angenommen, das Wetter kann sich an einem Tag in einem von drei Zuständen befinden: sonnig, bewölkt oder regnerisch. Die Wahrscheinlichkeit, dass es morgen sonnig ist, hängt nur davon ab, ob es heute sonnig, bewölkt oder regnerisch ist, und nicht von den Wetterbedingungen vor einer Woche.

Wichtige Eigenschaften für die Konvergenz zur stationären Verteilung:

Irreduzibilität: Jeder Zustand ist von jedem anderen Zustand erreichbar.
Aperiodizität: Es gibt keine feste Periode, in der die Kette in einen bestimmten Zustand zurückkehrt.
Positive Rekurrenz: Die erwartete Zeit, bis die Kette in einen Zustand zurückkehrt, ist endlich.

Wenn eine Markov-Kette irreduzibel, aperiodisch und positiv rekurrent ist, konvergiert sie gegen eine eindeutige stationäre Verteilung.